我们证明,与畴壁(DW)位置的大量随机变化的量化量(名义上是5态)突触的极低分辨率可以是节能的,并且与使用浮动精度相比,与类似尺寸的深度神经网络(DNN)相比具有相当高的测试精度。突触权重。具体地,电压控制的DW器件展示随机性的随机行为,与微磁性模拟严格,并且只能编码有限状态;但是,它们在训练和推论中都可以非常节能。我们表明,通过对学习算法实施合适的修改,我们可以解决随机行为以及减轻其低分辨率的影响,以实现高测试精度。在这项研究中,我们提出了原位和前地训练算法,基于Hubara等人提出的算法的修改。 [1]适用于突触权重的量化。我们使用2个,3和5状态DW设备作为Synapse培训Mnist DataSet上的几个5层DNN。对于原位训练,采用单独的高精度存储器单元来保护和累积重量梯度,然后被量化以编程低精密DW设备。此外,在训练期间使用尺寸的噪声公差余量来解决内部编程噪声。对于前训训练,首先基于所表征的DW设备模型和噪声公差余量进行前体DNN,其类似于原位培训。值得注意的是,对于原位推断,对设备的能量耗散装置仅是每次推断仅13页,因为在整个MNIST数据集上进行10个时期进行训练。
translated by 谷歌翻译
Human perception, memory and decision-making are impacted by tens of cognitive biases and heuristics that influence our actions and decisions. Despite the pervasiveness of such biases, they are generally not leveraged by today's Artificial Intelligence (AI) systems that model human behavior and interact with humans. In this theoretical paper, we claim that the future of human-machine collaboration will entail the development of AI systems that model, understand and possibly replicate human cognitive biases. We propose the need for a research agenda on the interplay between human cognitive biases and Artificial Intelligence. We categorize existing cognitive biases from the perspective of AI systems, identify three broad areas of interest and outline research directions for the design of AI systems that have a better understanding of our own biases.
translated by 谷歌翻译
Federated learning (FL) has been proposed as a privacy-preserving approach in distributed machine learning. A federated learning architecture consists of a central server and a number of clients that have access to private, potentially sensitive data. Clients are able to keep their data in their local machines and only share their locally trained model's parameters with a central server that manages the collaborative learning process. FL has delivered promising results in real-life scenarios, such as healthcare, energy, and finance. However, when the number of participating clients is large, the overhead of managing the clients slows down the learning. Thus, client selection has been introduced as a strategy to limit the number of communicating parties at every step of the process. Since the early na\"{i}ve random selection of clients, several client selection methods have been proposed in the literature. Unfortunately, given that this is an emergent field, there is a lack of a taxonomy of client selection methods, making it hard to compare approaches. In this paper, we propose a taxonomy of client selection in Federated Learning that enables us to shed light on current progress in the field and identify potential areas of future research in this promising area of machine learning.
translated by 谷歌翻译
ICECUBE是一种用于检测1 GEV和1 PEV之间大气和天体中微子的光学传感器的立方公斤阵列,该阵列已部署1.45 km至2.45 km的南极的冰盖表面以下1.45 km至2.45 km。来自ICE探测器的事件的分类和重建在ICeCube数据分析中起着核心作用。重建和分类事件是一个挑战,这是由于探测器的几何形状,不均匀的散射和冰中光的吸收,并且低于100 GEV的光,每个事件产生的信号光子数量相对较少。为了应对这一挑战,可以将ICECUBE事件表示为点云图形,并将图形神经网络(GNN)作为分类和重建方法。 GNN能够将中微子事件与宇宙射线背景区分开,对不同的中微子事件类型进行分类,并重建沉积的能量,方向和相互作用顶点。基于仿真,我们提供了1-100 GEV能量范围的比较与当前ICECUBE分析中使用的当前最新最大似然技术,包括已知系统不确定性的影响。对于中微子事件分类,与当前的IceCube方法相比,GNN以固定的假阳性速率(FPR)提高了信号效率的18%。另外,GNN在固定信号效率下将FPR的降低超过8(低于半百分比)。对于能源,方向和相互作用顶点的重建,与当前最大似然技术相比,分辨率平均提高了13%-20%。当在GPU上运行时,GNN能够以几乎是2.7 kHz的中位数ICECUBE触发速率的速率处理ICECUBE事件,这打开了在在线搜索瞬态事件中使用低能量中微子的可能性。
translated by 谷歌翻译
侧通道攻击对加密算法构成了严重的威胁,包括广泛使用的算法,例如AES和RSA,利用硬件或软件中的算法实现,以通过计时和/或电力侧通道来提取秘密信息。软件掩蔽是一种针对电力侧通道攻击的软件缓解方法,旨在将秘密浏览依赖性隐藏在脆弱实现的功率足迹之外。但是,这种类型的软件缓解通常取决于通用编译器,这些编译器不保留非功能性能。此外,Microarchitectural特征(例如内存总线和寄存器重复使用)也可能揭示秘密信息。这些抽象在该程序的高级实施中不可见。相反,它们是在编译时间决定的。为了解决这些问题,安全工程师通常通过关闭编译器优化和/或执行本地兼容后转换来牺牲代码效率。本文提出了SECCONCG,这是一种基于约束的编译器方法,该方法生成了优化但安全的代码。 SECCONCG通过根据处理器成本模型有效地搜索最佳的低级实施来控制缓解程序的质量。在我们在MIPS32和ARM Cortex M0上进行十项掩盖实现的实验中,与非优化优化代码相比,SECCONCG的速度将生成的代码从10%提高到10%至10倍。对于安全和编译器研究人员,本文提出了一个正式模型,以生成安全的低级代码。对于软件工程师,SECCONCG提供了一种实用方法来优化保留安全属性的代码。
translated by 谷歌翻译
用于卫星图像分析的计算机视觉算法的创新可以使我们能够在行星层面探索全球挑战,例如城市化和土地利用变化。但是,当试图复制将这些分析推向新领域的模型时,尤其是在发展中国家的模型时,域转移问题是一个普遍的情况。如果模型是通过一个位置的图像和标签训练的,则通常不会很好地概括到图像和数据分布不同的新位置。在这项工作中,我们考虑了我们有一个大型卫星图像场景的设置,我们希望在该场景上解决一个应用问题 - 构建足迹细分。在这里,我们不一定需要担心创建一个概括过我们场景边界的模型,而是可以训练本地模型。我们表明,使用非常高分辨率(0.5m/px)卫星图像解决建筑细分问题需要的标签很少。我们只有527个稀疏多边形注释(相当于1500 x 1500名被标记的像素)训练的最佳型号,召回了0.87的持有足迹,R2的r2为0.93视窗。我们将模型应用于约旦安曼(Amman)的高分辨率图像中,在一项有关城市变化检测的案例研究中。
translated by 谷歌翻译
学习有效的蛋白质表示在生物学的各种任务中至关重要,例如预测蛋白质功能或结构。现有的方法通常在大量未标记的氨基酸序列上预先蛋白质语言模型,然后在下游任务中使用一些标记的数据来对模型进行修复。尽管基于序列的方法具有有效性,但尚未探索蛋白质性能预测的已知蛋白质结构的预处理功能,尽管蛋白质结构已知是蛋白质功能的决定因素,但尚未探索。在本文中,我们建议根据其3D结构预处理蛋白质。我们首先提出一个简单而有效的编码器,以学习蛋白质的几何特征。我们通过利用多视图对比学习和不同的自我预测任务来预先蛋白质图编码器。对功能预测和折叠分类任务的实验结果表明,我们提出的预处理方法表现优于或与最新的基于最新的序列方法相提并论,同时使用较少的数据。我们的实施可在https://github.com/deepgraphlearning/gearnet上获得。
translated by 谷歌翻译
最近关于机器学习和优化集成的研究的扩散。该研究流中的一个膨胀区域是预测模型嵌入式优化,其使用预先接受训练的预测模型来实现优化问题的目标函数,因此预测模型的特征成为优化问题中的决策变量。尽管该领域最近出版物飙升,但这一决策管道的一个方面已经很大程度上被忽视的是培训相关性,即确保对优化问题的解决方案应该类似于用于训练预测模型的数据。在本文中,我们提出了旨在实施培训相关性的限制,并通过集合来展示添加建议的约束显着提高所获得的溶液质量。
translated by 谷歌翻译
我们研究了通过具有整流线性单元(Relu)激活的前馈神经网络建模目标函数的优化问题。最近的文献已经探讨了单一神经网络的使用来模拟目标函数内的不确定或复杂元素。然而,众所周知,神经网络的集合产生更稳定的预测,并且具有比具有单个神经网络的模型更好的普遍性,这表明在决策管道中应用神经网络的集合。我们研究如何将神经网络集合纳入优化模型的客观函数,并探索随后的问题的计算方法。我们基于现有流行的大量M $配方提供了一种混合整数线性程序,以优化单个神经网络。我们为我们的模型开发了两个加速技术,首先是一种预处理程序,用于拧紧神经网络中的关键神经元的界限,而第二个是基于弯曲分解的一组有效的不等式。我们解决方案方法的实验评估在一个全球优化问题和两个现实世界数据集中进行;结果表明,我们的优化算法在计算时间和最优性间隙方面优于最先进的方法的适应。
translated by 谷歌翻译
现代软件部署过程产生统一的软件,因此容易受到大规模的代码重用攻击,例如跳转编程(JOP)攻击。基于编译器的多样化通过自动生成给定程序的不同装配代码版本来提高软件系统的恢复。现有技术是有效的,但不具有对所产生变体的质量的精确控制。本文介绍了建筑(Divcon)的多样性,基于约束的软件多样化方法。与以前的方法不同,Divcon允许用户控制和调整多样性和代码质量的冲突目标。关键推动器是使用大型邻域搜索(LNS)以有效地生成高度多样化的代码。对于更大的问题,我们提出了LNS的组合,其结构分解了问题。为了进一步提高Divcon对JOP攻击的多样化效率,我们提出了一种针对JOP攻击特征的特定于应用的距离测量。我们评估嵌入式系统的流行基准套件20个功能。这些实验表明,LNS和我们的应用程序特定距离测量的组合产生了对JOP攻击具有高度弹性的二进制程序。我们的结果证实,每个汇编代码版本和整个版本池的多样性之间存在权衡。特别是,实验表明,Divcon生成近最佳的二进制程序,这些程序共享少量小工具。对于约束编程研究人员和从业者,本文表明LNS是寻找多样化解决方案的宝贵技术。对于安全研究人员和软件工程师,Divcon将基于编译的多样化范围扩展到性能关键和资源受限应用程序。
translated by 谷歌翻译